Dieser Audiobeitrag wird von der Universität Erlangen-Nürnberg präsentiert.

Guten Tag allerseits.

Wir haben uns das letzte Mal immer noch Entscheidungstheorie angeguckt und so langsam

wollen weiter kommen zu von der einfachen episodischen Entscheidungstheorie in

sequenzielle Entscheidungstheorie und dazu wollen wir anfangen sequenzielle

Prozesse zu verstehen. Bevor wir das allerdings gemacht hatten hatte ich

nochmal versucht irgendwie einzuordnen wie das mit den Agentenarchitekturen und

dem was wir jetzt gerade machen zusammenhängt und die wichtigen

Begriffe dabei sind dass wir Zustände, Agenten mit Zuständen haben und dass der

Zustand der da wichtig ist ein im Wesentlichen ein Zustand des Glaubens

oder Wissens über die Welt ist. Wir können in den Umgebungen die wir uns im

Moment betrachten können wir nicht immer vollständig die Welt beobachten.

Wir können die nicht alles erkennen und wir wissen auch nicht ob

unsere Aktionen das bewirken was wir gerne hätten dass sie bewirken.

Das heißt wir haben nicht mehr einen einzelnen Zustand den wir betrachten

sondern wir müssen irgendwelche wir müssen den Wissenszustand über die Welt

haben und das hat gewisse Konsequenzen und das sind genau die Sachen die wir im

Moment machen. Was wir machen ist dass der Agent diesen Wissenszustand hat und

der immer bei jedem Perzept bei jeder Aktion wird neu adaptiert und wir beziehen

uns immer auf diesen Wissenszustand in allen unseren Entscheidungen.

Also was wir haben ist der Wissenszustand und ein Übergangmodell und das

Übergangmodell das wir im Moment was wir die wir jetzt angucken sind natürlich

stochastische Modelle. Wahrscheinlichkeitswissen wir haben

typischerweise in deterministischen und voll observablen Umgebungen können wir

einfach wissen wir was der Zustand ist das können wir jederzeit nachgucken und

da reicht uns eine Übergangsfunktion aus so wie wir es bei der Suche hatten.

Aber sobald irgendetwas unsicher wird brauchen wir eine Übergangsrelation auf

jeden Zustand selbst wenn wir ihn denn wüssten folgt eine Menge von

Nachfolgezuständen mit gewissen Wahrscheinlichkeiten das ist genau das

was wir jetzt machen und wenn wir natürlich ein partiell observable

Umgebung haben brauchen wir außen außer dieser Übergangsrelation brauchen wir

auch noch ein Sensormodell und das wird heute anfangen eine Rolle zu spielen

nämlich ein Sensormodell weil auch unsere Sensoren sind unsicher nicht nur

die Aktionen sind unsicher auch diese Sensationen sind sind unsicher und das

müssen wir natürlich auch mit in Betracht sehen. Dann hatten wir uns

angeguckt wie das mit diesen ganzen Agenten die wir betrachtet hatten im

letzten Semester und die die wir jetzt hier die probabilistischen Agenten die

wir jetzt haben und da ist es im Wesentlichen so dass das Wissensmodell

ein basis Netzwerk typischerweise ist basis Netzwerk eigentlich nur deswegen

weil wir die weil das Modell der vollständigen

Wahrscheinlichkeitsverteilung über alle Variablen und so etwas einfach zu

unhandlich ist deswegen modellieren wir die Welt in Netzwerken und machen

probabilistische Inferenz so wie wir es uns angeguckt haben. Das wollen wir jetzt ein

bisschen weiter treiben und diese Entscheidung theoretischen

Agenten die wir uns angeguckt sind natürlich genau diejenigen die die

erwartete Nützlichkeit das ist die neue Komponente die Nützlichkeitsfunktion

die die versuchen zu maximieren um Rationalität zu erreichen.

Das nächste was wir uns angeguckt hatten schon mal so einen Schritt

realistischer Agenten ist dass wir uns angeguckt hatten wie können wir denn

verstehen den Akt der Informationsbeschaffung. Wie können wir das